Can Dialects Be Steered Like Languages? Sparse Neurons and Distributed Directions in Arabic LLMs
阿拉伯语LLM的方言可控生成:稀疏神经元与分布式向量引导
🧭 推理时干预 · 模型可解释性
Mohamed bin Zayed University of Artificial Intelligence · Qatar Computing Research Institute, Hamad Bin Khalifa University · Tohoku University · RIKEN
通过识别并操控稀疏神经元或注入方言向量,在推理时无微调控制LLM方言输出
📌 工作参考价值(4 点)
- 推理时引导(steering)可零成本切换LLM输出风格,无需微调。在电商客服、商品描述生成中,可注入“亲和力”或“专业度”向量控制语气。
- 神经元稀疏分析定位领域知识(如品牌、品类),用于可解释性调试与受控生成,辅助发现模型内部的概念神经元。
- 向量抽取方法(对比样本对计算差异向量)可提取任意属性的激活方向,在推荐文案或Agent交互中实现细粒度属性控制,如情感倾向、正式度。
- 干预强度可调,提供“风格强度”旋钮,适合在线A/B测试与个性化体验的渐进式优化。